Het kasteel van Berzée is een gebouw in traditionele stijl en was de zetel van een Naamse heerlijkheid uit de 13de eeuw bewoond door de familie Berzée. Vanaf de 15de eeuw tot de 16de eeuw werd het kasteel eigendom van de families Oultremont en Berlo.
In het begin van de 17de eeuw, na 75 jaar leegstand, maakte Charles de Namur er zijn belangrijkste residentie van. Hij ondernam belangrijke werken en liet het oude feodaal kasteel herijzen. De donjon van het kasteel, met vier torentjes, is opmerkelijk. Vier generaties van de familie de Namur verbleven in het kasteel. Nadien kwam de familie de Trazegnies.
Bij het kasteel bevindt zich een landbouwexploitatie. De gebouwen van de boerderij zoals we die nu kennen, werden gebouwd in 2 fasen. De bijgebouwen begin 18de eeuw en het hoofdgebouw midden 18de eeuw. Op 4 oktober 1974 werd het kasteel geklasseerd als historisch monument, vandaag is het eigendom van de Académie Francaise.